Détection générique et temps réel des spécularités

International audienceNous proposons une méthode générique pour la détection en temps réel des spécularités dans une image. Cette méthode utilise une nouvelle méthode de seuillage appliquée dans l'espace colorimétrique Teinte-Saturation-Valeur (TSV). Les méthodes de l'état de l'art ne prennent souvent pas en compte les différents changements du contexte lumineux (les sauts de lumières). De plus, ces méthodes sont généralement algorithmiquement complexes et non adaptées à un contexte temps réel. Notre méthode se décompose en trois étapes : adaptation du contraste de l'image pour gérer les variations d'intensité de la lumière, seuillage automatique afin d'isoler les réflexions spéculaires et un post-traitement qui exploite la décroissance progressivement d'une spécularité à partir de son centre de gravité afin de différencier les textures blanches détectées à tort des spécularités. Cette méthode a été comparée avec l'état de l'art par deux protocoles expérimentaux basés sur la précision des contours et du centre de gravité ; elle obtient, en temps réel, des résultats précis et sans a priori sur les images

Reconstruction d'une source lumineuse modélisée par une quadrique à partir d'images multiples

International audienceReconstruire les sources lumineuses peut améliorer de façon significative le rendu des applications de réalité augmentée (RA) et contribuer à une meilleure compréhension de la scène, à la reconstruction 3D et à la localisation de caméra. Les approches existantes se focalisent sur l'estimation d'illumination et de radiance sans prendre en compte la géométrie des sources lumineuses. Notre méthode propose une reconstruction 3D de sources lumineuses en intérieur à partir des spécularités. Les quadriques sont utilisés comme un nouveau modèle de lumière à forme générique pouvant représenter une ampoule ou encore un néon ce qui n'est pas possible avec l'état de l'art actuel. À partir d'au moins trois points de vue contenant des spécularités, une quadrique est reconstruite en estimant des coniques pour chaque spécularité. Cette estimation initiale est raffinée par la suite en réduisant la distance entre les coniques issues de la projection de la quadrique pour chaque point de vue et le contours des spécularités associées.</p

Un modèle géométrique multi-vues des taches spéculaires basé sur les quadriques avec application en réalité augmentée

Augmented Reality (AR) consists in inserting virtual elements in a real scene, observed through a screen or a projection system on the scene or the object of interest. The augmented reality systems can take different forms to obtain a balance between three criteria: precision, latency and robustness. It is possible to identify three main components to these systems: localization, reconstruction and display. The contributions of this thesis focus essentially on the display and more particularly the rendering of augmented reality applications. Contrary to the recent advances in the field of localization and reconstruction, the insertion of virtual elements in a plausible and aesthetic way remains a complicated problematic, ill-posed and not adapted to a real-time context. Indeed, this insertion requires a good understanding of the lighting conditions of the scene. The lighting conditions of the scene can be divided in several categories. First, we can model the environment to describe the interaction between the incident and reflected light pour each 3D point of a surface. Secondly, it is also possible to explicitly the environment by computing the position of the light sources, their type (desktop lamps, fluorescent lamp, light bulb, . . . ), their intensities and their colors. Finally, to insert a virtual object in a coherent and realistic way, it is essential to have the knowledge of the surface’s geometry, its chemical composition (material) and its color. For all of these aspects, the reconstruction of the illumination is difficult because it is really complex to isolate the illumination without prior knowledge of the geometry, material of the scene and the camera pose observing the scene. In general, on a surface, a light source leaves several traces such as shadows, created from the occultation of light rays by an object, and the specularities (or specular reflections) which are created by the partial or total reflection of the light. These specularities are often described as very high intensity elements in the image. Although these specularities are often considered as outliers for applications such as camera localization, reconstruction or segmentation, these elements give crucial information on the position and color of the light source but also on the surface’s geometry and the material’s reflectance where these specularities appear. To address the light modeling problem, we focused, in this thesis, on the study of specularities and on every information that they can provide for the understanding of the scene. More specifically, we know that a specularity is defined as the reflection of the light source on a shiny surface. From this statement, we have explored the possibility to consider the specularity as the image created from the projection of a 3D object in space.We started from the simple but little studied in the literature observation that specularities present an elliptic shape when they appear on a planar surface. From this hypothesis, can we consider the existence of a 3D object fixed in space such as its perspective projection in the image fit the shape of the specularity ? We know that an ellipsoid projected perspectivally gives an ellipse. Considering the specularity as a geometric phenomenon presents various advantages. First, the reconstruction of a 3D object and more specifically of an ellipsoid, has been the subject to many publications in the state of the art. Secondly, this modeling allows a great flexibility on the tracking of the state of the specularity and more specifically the light source. Indeed, if the light is turning off, it is easy to visualize in the image if the specularity disappears if we know the contour (and reciprocally of the light is turning on again). (...)La réalité augmentée (RA) consiste en l’insertion d’éléments virtuels dans une scène réelle, observée à travers un écran ou en utilisant un système de projection sur la scène ou l’objet d’intérêt. Les systèmes de réalité augmentée peuvent prendre des différentes formes pour obtenir l’équilibre désiré entre trois critères : précision, latence et robustesse. Il est possible d’identifier trois composants principaux à ces systèmes : localisation, reconstruction et affichage. Les contributions de cette thèse se concentrent essentiellement sur l’affichage et plus particulièrement le rendu des applications de réalité augmentée. À l’opposé des récentes avancées dans le domaine de la localisation et de la reconstruction, l’insertion d’éléments virtuels de façon plausible et esthétique reste une problématique compliquée, mal-posée et peu adaptée à un contexte temps réel. En effet, cette insertion requiert une reconstruction de l’illumination de la scène afin d’appliquer les conditions lumineuses adéquates à l’objet inséré. L’illumination de la scène peut être divisée en plusieurs catégories. Nous pouvons modéliser l’environnement de façon à décrire l’interaction de la lumière incidente et réfléchie pour chaque point 3D d’une surface. Il est également possible d’expliciter l’environnement en calculant la position des sources de lumière, leur type (lampe de bureau, néon, ampoule, ….), leur intensité et leur couleur. Pour insérer un objet de façon cohérente et réaliste, il est primordial d’avoir également une connaissance de la surface recevant l’illumination. Cette interaction lumière/matériaux est dépendante de la géométrie de la surface, de sa composition chimique (matériau) et de sa couleur. Pour tous ces aspects, le problème de reconstruction de l’illumination est difficile, car il est très complexe d’isoler l’illumination sans connaissance a priori de la géométrie, des matériaux de la scène et de la pose de la caméra observant la scène. De manière générale, sur une surface, une source de lumière laisse plusieurs traces telles que les ombres, qui sont créées par l’occultation de rayons lumineux par un objet, et les réflexions spéculaires ou spécularités qui se manifestent par la réflexion partielle ou totale de la lumière. Bien que ces spécularités soient souvent considérées comme des éléments parasites dans les applications de localisation de caméra, de reconstruction ou encore de segmentation, ces éléments donnent des informations cruciales sur la position et la couleur de la source lumineuse, mais également sur la géométrie de la surface et la réflectance du matériau où elle se manifeste. Face à la difficulté du problème de modélisation de la lumière et plus particulièrement du calcul de l’ensemble des paramètres de la lumière, nous nous sommes focalisés, dans cette thèse, sur l’étude des spécularités et sur toutes les informations qu’elles peuvent fournir pour la compréhension de la scène. Plus particulièrement, nous savons qu’une spécularité est définie comme la réflexion d’une source de lumière sur une surface réfléchissante. Partant de cette remarque, nous avons exploré la possibilité de considérer la spécularité comme étant une image issue de la projection d’un objet 3D dans l’espace. Nous sommes partis d’un constat simple, mais peu traité par la littérature qui est que les spécularités présentent une forme elliptique lorsqu’elles apparaissent sur une surface plane. À partir de cette hypothèse, pouvons-nous considérer un objet 3D fixe dans l’espace tel que sa projection perspective dans l’image corresponde à la forme de la spécularité ? Plus particulièrement, nous savons qu’un ellipsoïde projeté perspectivement donne une ellipse. Considérer le phénomène de spécularité comme un phénomène géométrique a de nombreux avantages. (...

A multi-view geometric model of specular spots based on quadrics with augmented reality application

La réalité augmentée (RA) consiste en l’insertion d’éléments virtuels dans une scène réelle, observée à travers un écran ou en utilisant un système de projection sur la scène ou l’objet d’intérêt. Les systèmes de réalité augmentée peuvent prendre des différentes formes pour obtenir l’équilibre désiré entre trois critères : précision, latence et robustesse. Il est possible d’identifier trois composants principaux à ces systèmes : localisation, reconstruction et affichage. Les contributions de cette thèse se concentrent essentiellement sur l’affichage et plus particulièrement le rendu des applications de réalité augmentée. À l’opposé des récentes avancées dans le domaine de la localisation et de la reconstruction, l’insertion d’éléments virtuels de façon plausible et esthétique reste une problématique compliquée, mal-posée et peu adaptée à un contexte temps réel. En effet, cette insertion requiert une reconstruction de l’illumination de la scène afin d’appliquer les conditions lumineuses adéquates à l’objet inséré. L’illumination de la scène peut être divisée en plusieurs catégories. Nous pouvons modéliser l’environnement de façon à décrire l’interaction de la lumière incidente et réfléchie pour chaque point 3D d’une surface. Il est également possible d’expliciter l’environnement en calculant la position des sources de lumière, leur type (lampe de bureau, néon, ampoule, ….), leur intensité et leur couleur. Pour insérer un objet de façon cohérente et réaliste, il est primordial d’avoir également une connaissance de la surface recevant l’illumination. Cette interaction lumière/matériaux est dépendante de la géométrie de la surface, de sa composition chimique (matériau) et de sa couleur. Pour tous ces aspects, le problème de reconstruction de l’illumination est difficile, car il est très complexe d’isoler l’illumination sans connaissance a priori de la géométrie, des matériaux de la scène et de la pose de la caméra observant la scène. De manière générale, sur une surface, une source de lumière laisse plusieurs traces telles que les ombres, qui sont créées par l’occultation de rayons lumineux par un objet, et les réflexions spéculaires ou spécularités qui se manifestent par la réflexion partielle ou totale de la lumière. Bien que ces spécularités soient souvent considérées comme des éléments parasites dans les applications de localisation de caméra, de reconstruction ou encore de segmentation, ces éléments donnent des informations cruciales sur la position et la couleur de la source lumineuse, mais également sur la géométrie de la surface et la réflectance du matériau où elle se manifeste. Face à la difficulté du problème de modélisation de la lumière et plus particulièrement du calcul de l’ensemble des paramètres de la lumière, nous nous sommes focalisés, dans cette thèse, sur l’étude des spécularités et sur toutes les informations qu’elles peuvent fournir pour la compréhension de la scène. Plus particulièrement, nous savons qu’une spécularité est définie comme la réflexion d’une source de lumière sur une surface réfléchissante. Partant de cette remarque, nous avons exploré la possibilité de considérer la spécularité comme étant une image issue de la projection d’un objet 3D dans l’espace. Nous sommes partis d’un constat simple, mais peu traité par la littérature qui est que les spécularités présentent une forme elliptique lorsqu’elles apparaissent sur une surface plane. À partir de cette hypothèse, pouvons-nous considérer un objet 3D fixe dans l’espace tel que sa projection perspective dans l’image corresponde à la forme de la spécularité ? Plus particulièrement, nous savons qu’un ellipsoïde projeté perspectivement donne une ellipse. Considérer le phénomène de spécularité comme un phénomène géométrique a de nombreux avantages. (...)Augmented Reality (AR) consists in inserting virtual elements in a real scene, observed through a screen or a projection system on the scene or the object of interest. The augmented reality systems can take different forms to obtain a balance between three criteria: precision, latency and robustness. It is possible to identify three main components to these systems: localization, reconstruction and display. The contributions of this thesis focus essentially on the display and more particularly the rendering of augmented reality applications. Contrary to the recent advances in the field of localization and reconstruction, the insertion of virtual elements in a plausible and aesthetic way remains a complicated problematic, ill-posed and not adapted to a real-time context. Indeed, this insertion requires a good understanding of the lighting conditions of the scene. The lighting conditions of the scene can be divided in several categories. First, we can model the environment to describe the interaction between the incident and reflected light pour each 3D point of a surface. Secondly, it is also possible to explicitly the environment by computing the position of the light sources, their type (desktop lamps, fluorescent lamp, light bulb, . . . ), their intensities and their colors. Finally, to insert a virtual object in a coherent and realistic way, it is essential to have the knowledge of the surface’s geometry, its chemical composition (material) and its color. For all of these aspects, the reconstruction of the illumination is difficult because it is really complex to isolate the illumination without prior knowledge of the geometry, material of the scene and the camera pose observing the scene. In general, on a surface, a light source leaves several traces such as shadows, created from the occultation of light rays by an object, and the specularities (or specular reflections) which are created by the partial or total reflection of the light. These specularities are often described as very high intensity elements in the image. Although these specularities are often considered as outliers for applications such as camera localization, reconstruction or segmentation, these elements give crucial information on the position and color of the light source but also on the surface’s geometry and the material’s reflectance where these specularities appear. To address the light modeling problem, we focused, in this thesis, on the study of specularities and on every information that they can provide for the understanding of the scene. More specifically, we know that a specularity is defined as the reflection of the light source on a shiny surface. From this statement, we have explored the possibility to consider the specularity as the image created from the projection of a 3D object in space.We started from the simple but little studied in the literature observation that specularities present an elliptic shape when they appear on a planar surface. From this hypothesis, can we consider the existence of a 3D object fixed in space such as its perspective projection in the image fit the shape of the specularity ? We know that an ellipsoid projected perspectivally gives an ellipse. Considering the specularity as a geometric phenomenon presents various advantages. First, the reconstruction of a 3D object and more specifically of an ellipsoid, has been the subject to many publications in the state of the art. Secondly, this modeling allows a great flexibility on the tracking of the state of the specularity and more specifically the light source. Indeed, if the light is turning off, it is easy to visualize in the image if the specularity disappears if we know the contour (and reciprocally of the light is turning on again). (...

Generic and Real-time Detection of Specular Reflections in Images.

International audienceIn this paper, we propose a generic and efficient method for real-time specular reflections detection in images. The method relies on a new thresholding technique applied in the Hue-Saturation-Value (HSV) color space. A detailed experimental study was conducted in this color space to highlight specular reflections' properties. Current state-of-the-art methods have difficulties with lighting jumps by being too specific or computationally expensive for real-time applications. Our method addresses this problem using the following three steps: an adaptation of the contrast of the image to handle lighting jumps, an automatic thresholding to isolate specular reflections and a post-processing step to further reduce the number of false detections. This method has been compared with the state-of-the-art according to our two proposed experimental protocols based on contours and gravity center and offers fast and accurate results without a priori on the image in real-time

A Geometric Model for Specularity Prediction on Planar Surfaces with Multiple Light Sources

International audienc

A multiple-view geometric model of specularities on non-uniformly curved surfaces

International audienceThe specularity prediction task in images, given the camera pose and scene geometry, is challenging and ill-posed. A recent approach called JOint LIght-MAterial Specularity (JOLIMAS) addresses this problem using a geometric model under the assumption that specularities have an elliptical shape. We address the most recent version of the model, Dual JOLIMAS, which is limited to planar and convex surfaces where the local surface's curvature under the specularity is constant. We propose a canonical representation of the JOLIMAS model that is independent of the local surface curvature. To reconstruct our model represented by a 3D quadric, we use at least 3 ellipses fitted to specularities and transform their shape to fit a planar surface and simulate a planar mirror which does not distort the image of the reflected object. After reconstruction, we project the 3D quadric into an ellipse and transform it to fit the current local curvature of the surface on a new viewpoint. We assessed this method on both synthetic and real sequences, and compared it to the previous approach Dual JOLIMAS

An Empirical Model for Specularity Prediction with Application to Dynamic Retexturing

International audienceSpecularities, which are often visible in images, may be problematic in computer vision since they depend on parameters which are difficult to estimate in practice. We present an empirical model called JOLIMAS: JOint LIght-MAterial Specularity, which allows specularity prediction. JOLIMAS is reconstructed from images of specular reflections observed on a planar surface and implicitly includes light and material properties which are intrinsic to specularities. This work was motivated by the observation that specularities have a conic shape on planar surfaces. A theoretical study on the well known illumination models of Phong and Blinn-Phong was conducted to support the accuracy of this hypothesis. A conic shape is obtained by projecting a quadric on a planar surface. We showed empirically the existence of a fixed quadric whose perspective projection fits the conic shaped specularity in the associated image. JOLIMAS predicts the complex phenomenon of specularity using a simple geometric approach with static parameters on the object material and on the light source shape. It is adapted to indoor light sources such as light bulbs or fluorescent lamps. The performance of the prediction was convincing on synthetic and real sequences. Additionally, we used the specularity prediction for dynamic retexturing and obtained convincing rendering results. Further results are presented as supplementary material

A Multiple-View Geometric Model of Specularities on Non-Planar Shapes with Application to Dynamic Retexturing

International audienc

Modèle géométrique multi-vues de spécularité

International audiencePrédire les spécularités dans une image, à partir d'une pose de camera et de la géométrie de la scène connues, est un problème complexe et ouvert. Cette prédiction est néanmoins essentielle pour de nombreuses applications en réalité augmentée. Une approche récente appelée JOLIMAS répond partiellement à ce problème sous l'hypothèse que les spécularités ont une forme elliptique et que la scène est composée d'un objet plan. JOLIMAS modélise une spécularité comme étant l'image d'une quadrique fixe dans l'espace. Nous proposons JOLIMAS dual, un nouveau modèle géométrique qui adresse la limitation aux plans. Ce modèle repose sur le fait que les spécularités conservent leurs formes elliptiques sur des surfaces convexes et que chaque surface peut être divisé en plusieurs partie convexes. La géométrie de JOLIMAS dual utilise une quadrique pour chaque surface convexe et chaque source lumineuse, et prédit les spécularités en utilisant des caméras virtuelles permettant de gérer la courbure de la surface. Nous évaluons l'efficacité et la précision du JOLIMAS dual sur de multiples séquences synthétiques et réelles composées de divers type objets et sous différents éclairages. Des résultats supplémentaires sont présenté dans une vidéo annexe